TypeScript duomenų srautas: apdorojimas realiuoju laiku su tipų sauga

Šiandieniniame duomenimis pagrįstame pasaulyje gebėjimas apdoroti ir analizuoti duomenis realiuoju laiku yra itin svarbus įmonėms įvairiose pramonės šakose. Duomenų srautai leidžia nuolat rinkti, apdoroti ir analizuoti duomenis jiems atvykstant, todėl galima nedelsiant gauti įžvalgų ir imtis veiksmų. „TypeScript“ su savo stipria tipų sistema ir šiuolaikinėmis „JavaScript“ funkcijomis siūlo patrauklų sprendimą kuriant patikimas ir mastelio duomenų srautų programas.

Kas yra duomenų srautas?

Duomenų srautas apima nuolatinį duomenų apdorojimą jiems generuojant, o ne laukiant, kol jie bus saugomi ir apdorojami paketais. Šis metodas yra būtinas programoms, kurioms reikia nedelsiant pateikti atsiliepimus ir priimti sprendimus realiuoju laiku, pvz.:

• Finansinės paslaugos: Akcijų kainų stebėjimas, nesąžiningų operacijų aptikimas.
• E-komercija: Rekomendacijų personalizavimas, vartotojų elgsenos sekimas realiuoju laiku.
• IoT: Jutiklių duomenų analizė iš prijungtų įrenginių, pramoninių procesų valdymas.
• Žaidimai: Realaus laiko žaidėjų statistikos pateikimas, žaidimo būsenos valdymas.
• Sveikatos priežiūra: Pacientų gyvybinių požymių stebėjimas, medicinos personalo įspėjimas apie ekstremalias situacijas.

Kodėl TypeScript duomenų srautams?

„TypeScript“ teikia keletą pranašumų kuriant duomenų srautus:

• Tipų sauga: „TypeScript“ statinė tipų sistema padeda anksti aptikti klaidas kūrimo procese, sumažinant vykdymo išimčių riziką ir pagerinant kodo priežiūrą. Tai ypač svarbu sudėtinguose duomenų vamzdynuose, kur neteisingi duomenų tipai gali sukelti netikėtą elgesį ir duomenų sugadinimą.
• Pagerinta kodo priežiūra: Tipo anotacijos ir sąsajos palengvina kodo supratimą ir priežiūrą, ypač dideliuose ir sudėtinguose projektuose. Tai itin svarbu ilgai veikiančioms duomenų srautų programoms, kurios laikui bėgant gali keistis.
• Padidintas kūrėjo produktyvumas: „TypeScript“ pagrįstos IDE teikiamos funkcijos, tokios kaip automatinis užbaigimas, kodo naršymas ir refaktoringo palaikymas, žymiai pagerina kūrėjo produktyvumą.
• Šiuolaikinės „JavaScript“ funkcijos: „TypeScript“ palaiko šiuolaikines „JavaScript“ funkcijas, pvz., async/await, klases ir modulius, todėl lengviau parašyti švarų ir efektyvų kodą.
• Besiūlis integravimas su „JavaScript“ ekosistema: „TypeScript“ kompiliuojamas į paprastą „JavaScript“, todėl galite pasinaudoti plačia „JavaScript“ bibliotekų ir sistemų ekosistema.
• Palaipsnis įdiegimas: Galite palaipsniui įdiegti „TypeScript“ į esamus „JavaScript“ projektus, todėl bus lengviau perkelti seną kodą.

Pagrindinės „TypeScript“ duomenų srautų sąvokos

1. Srautai

Duomenų srauto esmė yra srauto koncepcija, kuri reiškia duomenų elementų seką, kuri apdorojama laikui bėgant. „TypeScript“ galite dirbti su srautais naudodami įvairias bibliotekas ir metodus:

• Node.js srautai: „Node.js“ teikia įtaisytas srauto API, skirtas duomenų srautams tvarkyti. Šie srautai gali būti naudojami skaitant ir rašant duomenis iš failų, tinklo ryšių ir kitų šaltinių.
• Reaktyvusis programavimas (RxJS): „RxJS“ yra galinga reaktyviojo programavimo biblioteka, leidžianti dirbti su duomenų srautais naudojant stebejimais. Stebėjimai suteikia deklaratyvų būdą asinchroniniams duomenų srautams tvarkyti ir sudėtingiems duomenų transformavimams įgyvendinti.
• „WebSockets“: „WebSockets“ suteikia dvikryptį ryšio kanalą tarp kliento ir serverio, leidžiantį keistis duomenimis realiuoju laiku.

2. Duomenų transformacija

Duomenų transformacija apima duomenų konvertavimą iš vieno formato į kitą, duomenų filtravimą pagal tam tikrus kriterijus ir duomenų apibendrinimą, kad būtų gautos prasmingos įžvalgos. „TypeScript“ tipų sistema gali būti naudojama siekiant užtikrinti, kad duomenų transformacijos būtų tipo saugios ir duotų laukiamus rezultatus.

3. Įvykių valdoma architektūra

Įvykių valdoma architektūra (EDA) yra projektavimo modelis, kai programos bendrauja viena su kita, generuodamos ir naudodamos įvykius. Duomenų srautų kontekste EDA leidžia skirtingiems komponentams reaguoti į duomenų įvykius realiuoju laiku, įgalindama atskirtas ir mastelio sistemas. Pranešimų brokeriai, tokie kaip „Apache Kafka“ ir „RabbitMQ“, dažnai naudojami EDA įgyvendinti.

4. Pranešimų eilės ir brokeriai

Pranešimų eilės ir brokeriai suteikia patikimą ir mastelio būdą duomenims perduoti tarp skirtingų duomenų srautų programos komponentų. Jie užtikrina, kad duomenys bus pristatyti, net jei kai kurie komponentai laikinai nebus pasiekiami.

Praktiniai pavyzdžiai

1 pavyzdys: Akcijų kainų atnaujinimai realiuoju laiku su „WebSockets“ ir „TypeScript“

Šiame pavyzdyje parodyta, kaip sukurti paprastą programą, kuri gauna akcijų kainų atnaujinimus realiuoju laiku iš „WebSocket“ serverio ir juos rodo interneto naršyklėje. Serveriui ir klientui naudosime „TypeScript“.

Serveris (Node.js su „TypeScript“)

            
import WebSocket, { WebSocketServer } from 'ws';

const wss = new WebSocketServer({ port: 8080 });

interface StockPrice {
 symbol: string;
 price: number;
}

function generateStockPrice(symbol: string): StockPrice {
 return {
 symbol,
 price: Math.random() * 100,
 };
}

wss.on('connection', ws => {
 console.log('Client connected');

 const interval = setInterval(() => {
 const stockPrice = generateStockPrice('AAPL');
 ws.send(JSON.stringify(stockPrice));
 }, 1000);

 ws.on('close', () => {
 console.log('Client disconnected');
 clearInterval(interval);
 });
});

console.log('WebSocket server started on port 8080');

            

              
                Copy
              
            
          

Klientas (naršyklė su „TypeScript“)

            
const ws = new WebSocket('ws://localhost:8080');

interface StockPrice {
 symbol: string;
 price: number;
}

ws.onopen = () => {
 console.log('Connected to WebSocket server');
};

ws.onmessage = (event) => {
 const stockPrice: StockPrice = JSON.parse(event.data);
 const priceElement = document.getElementById('price');
 if (priceElement) {
 priceElement.textContent = `AAPL: ${stockPrice.price.toFixed(2)}`;
 }
};

ws.onclose = () => {
 console.log('Disconnected from WebSocket server');
};

            

              
                Copy
              
            
          

Šiame pavyzdyje naudojamos „TypeScript“ sąsajos (StockPrice) duomenų, kuriais keičiamasi tarp serverio ir kliento, struktūrai apibrėžti, užtikrinant tipų saugą ir išvengiant klaidų, kurias sukelia neteisingi duomenų tipai.

2 pavyzdys: Žurnalo duomenų apdorojimas su „RxJS“ ir „TypeScript“

Šiame pavyzdyje parodyta, kaip naudoti „RxJS“ ir „TypeScript“, norint apdoroti žurnalo duomenis realiuoju laiku. Simuliuosime žurnalo įrašų skaitymą iš failo ir naudosime „RxJS“ operatorius duomenims filtruoti ir transformuoti.

            
import { from, interval } from 'rxjs';
import { map, filter, bufferTime } from 'rxjs/operators';

interface LogEntry {
 timestamp: Date;
 level: string;
 message: string;
}

// Simulate reading log entries from a file
const logData = [
 { timestamp: new Date(), level: 'INFO', message: 'Server started' },
 { timestamp: new Date(), level: 'WARN', message: 'Low disk space' },
 { timestamp: new Date(), level: 'ERROR', message: 'Database connection failed' },
 { timestamp: new Date(), level: 'INFO', message: 'User logged in' },
 { timestamp: new Date(), level: 'ERROR', message: 'Application crashed' },
];

const logStream = from(logData);

// Filter log entries by level
const errorLogStream = logStream.pipe(
 filter((logEntry: LogEntry) => logEntry.level === 'ERROR')
);

// Transform log entries to a more readable format
const formattedErrorLogStream = errorLogStream.pipe(
 map((logEntry: LogEntry) => `${logEntry.timestamp.toISOString()} - ${logEntry.level}: ${logEntry.message}`)
);

// Buffer log entries into batches of 5 seconds
const bufferedErrorLogStream = formattedErrorLogStream.pipe(
 bufferTime(5000)
);

// Subscribe to the stream and print the results
bufferedErrorLogStream.subscribe((errorLogs: string[]) => {
 if (errorLogs.length > 0) {
 console.log('Error logs:', errorLogs);
 }
});

// Simulate adding more log entries after a delay
setTimeout(() => {
 logData.push({ timestamp: new Date(), level: 'ERROR', message: 'Another application crash' });
 logData.push({ timestamp: new Date(), level: 'INFO', message: 'Server restarted' });
}, 6000);

            

              
                Copy
              
            
          

Šiame pavyzdyje naudojamos „TypeScript“ sąsajos (LogEntry) žurnalo duomenų struktūrai apibrėžti, užtikrinant tipų saugą visame apdorojimo procese. „RxJS“ operatoriai, pvz., filter, map ir bufferTime, naudojami duomenims transformuoti ir apibendrinti deklaratyviu ir efektyviu būdu.

3 pavyzdys: „Apache Kafka“ vartotojas su „TypeScript“

„Apache Kafka“ yra paskirstyta srautinio perdavimo platforma, leidžianti kurti realaus laiko duomenų vamzdynus ir srautines programas. Šiame pavyzdyje parodyta, kaip sukurti „Kafka“ vartotoją „TypeScript“, kuris skaito pranešimus iš „Kafka“ temos.

            
import { Kafka, Consumer, KafkaMessage } from 'kafkajs'

const kafka = new Kafka({
 clientId: 'my-app',
 brokers: ['localhost:9092']
})

const consumer: Consumer = kafka.consumer({ groupId: 'test-group' })

const topic = 'my-topic'

const run = async () => {
 await consumer.connect()
 await consumer.subscribe({ topic, fromBeginning: true })

 await consumer.run({
 eachMessage: async ({ topic, partition, message }) => {
 const value = message.value ? message.value.toString() : null;
 console.log({
 topic,
 partition,
 offset: message.offset,
 value,
 })
 },
 })
}

run().catch(console.error)

            

              
                Copy
              
            
          

Šiame pavyzdyje parodyta pagrindinė „Kafka“ vartotojo sąranka naudojant „kafkajs“ biblioteką. Tai gali būti patobulinta su duomenų tipo patvirtinimu ir deserializavimo logika eachMessage tvarkyklėje, siekiant užtikrinti duomenų vientisumą. Tinkamas klaidų tvarkymas ir pakartotinio bandymo mechanizmai yra būtini gamybos aplinkoje patikimam pranešimų apdorojimui.

Geriausia „TypeScript“ duomenų srautų praktika

• Apibrėžkite aiškius duomenų modelius: Naudokite „TypeScript“ sąsajas ir tipus, kad apibrėžtumėte duomenų struktūrą, užtikrindami tipų saugą ir išvengdami klaidų.
• Įgyvendinkite patikimą klaidų tvarkymą: Įdiekite klaidų tvarkymo mechanizmus, kad sklandžiai tvarkytumėte išimtis ir išvengtumėte duomenų praradimo.
• Optimizuokite našumą: Profiluokite savo kodą ir nustatykite našumo problemas. Norėdami pagerinti našumą, naudokite tokius metodus kaip talpyklos, paketas ir lygiagretusis apdorojimas.
• Stebėkite savo programas: Stebėkite savo duomenų srautų programas, kad greitai aptiktumėte ir išspręstumėte problemas. Naudokite registravimą, metriką ir įspėjimus, kad galėtumėte stebėti savo programų būklę ir našumą.
• Apsaugokite savo duomenis: Įdiekite saugumo priemones, kad apsaugotumėte savo duomenis nuo neteisėtos prieigos ir modifikavimo. Norėdami apsaugoti savo duomenų srautus, naudokite šifravimą, autentifikavimą ir autorizaciją.
• Naudokite priklausomybės injekciją: Apsvarstykite galimybę naudoti priklausomybės injekciją, kad pagerintumėte kodo testavimą ir priežiūrą.

Tinkamų įrankių ir technologijų pasirinkimas

Įrankių ir technologijų pasirinkimas duomenų srautams priklauso nuo konkrečių jūsų programos reikalavimų. Štai keletas populiarių variantų:

• Pranešimų brokeriai: „Apache Kafka“, „RabbitMQ“, „Amazon Kinesis“, „Google Cloud Pub/Sub“.
• Srautinio perdavimo sistemos: „Apache Flink“, „Apache Spark Streaming“, „Apache Kafka Streams“.
• Reaktyviojo programavimo bibliotekos: RxJS, Akka Streams, Project Reactor.
• Debesų platformos: AWS, „Azure“, „Google Cloud Platform“.

Pasauliniai aspektai

Kurdamas duomenų srautų programas pasaulinei auditorijai, atsižvelkite į šiuos dalykus:

• Laiko zonos: Užtikrinkite, kad laiko žymos būtų tinkamai tvarkomos ir konvertuojamos į atitinkamas laiko zonas. Norėdami tvarkyti laiko zonos konvertavimus, naudokite tokias bibliotekas kaip moment-timezone.
• Lokalizacija: Lokalizuokite savo programą, kad būtų palaikomos skirtingos kalbos ir kultūriniai pageidavimai.
• Duomenų privatumas: Laikykitės duomenų privatumo taisyklių, pvz., GDPR ir CCPA. Įdiekite priemones jautriems duomenims apsaugoti ir užtikrinti vartotojo sutikimą.
• Tinklo delsas: Optimizuokite savo programą, kad sumažintumėte tinklo delsą. Naudokite turinio pristatymo tinklus (CDN), kad talpyklos duomenys būtų arčiau vartotojų.

Išvada

„TypeScript“ suteikia galingą ir tipų saugią aplinką kuriant realaus laiko duomenų srautų programas. Pasinaudoję stipria tipų sistema, šiuolaikinėmis „JavaScript“ funkcijomis ir integracija su „JavaScript“ ekosistema, galite sukurti patikimus, mastelio ir prižiūrimus srautinių programų sprendimus, kurie atitinka šiandieninio duomenimis pagrįsto pasaulio poreikius. Nepamirškite atidžiai apsvarstyti pasaulinių veiksnių, tokių kaip laiko zonos, lokalizacija ir duomenų privatumas, kurdami programas pasaulinei auditorijai.